连续对抗训练增强 LLM 可迁移诚实性
🧭 对抗训练 · LLM 对齐与诚实性
Tara Research · Mila – Quebec AI Institute · Technical University of Munich
CATCH 用数百条自报告场景构造对抗训练对，让 LLM 在压力下保持诚实并跨任务泛化
📌 工作参考价值（4 点）
- 借鉴 CATCH 的构造方法：用 self-reporting 场景生成“有依据 vs 编造”答案对，仅需数百条即可训练模型远离不诚实输出，成本低，适合电商推荐解释、商品属性描述等场景，抑制模型编造不存在的优惠或参数。
- utility data 的选择是保持通用能力的关键：CATCH 在外循环加入 utility 数据防止诚实训练导致能力漂移，优于纯激活引导。在微调推荐对话或 Agent 时，应同时混合正常推荐/通用 QA 数据，避免模型变得“诚实但无用”。
- 对抗训练的内外循环范式（embedding 扰动让错误答案更容易，再更新参数偏好正确答案）比 SFT 更强，可迁移到广告文案生成中防止夸大宣传，或在多智能体场景中减少 Agent 隐瞒信息（如不披露广告属性）。
- CATCH 不增加推理开销，可直接部署到线上推荐 Agent；若已有 activation steering 方案，可考虑替换或叠加，以保持更强 utility。
从干草堆中拔针：通过权重正交化移除 LLM 后门
🧭 LLM 安全防御 · 权重正交化
Locai Labs · Centre for AI, Computer Science, UCL
训练免清洗方法估计后门方向与拒绝子空间，对权重正交化，在保持安全能力的同时实现最低 ASR
📌 工作参考价值（4 点）
- 若业务中微调或使用开源 LLM 作为导购/客服/推荐 Agent，上游权重可能被投毒；NEEDLE 提供一种无需干净基线和原始训练数据的应急修复手段，适合已上线模型的后门摘除。
- 其“估计激活方向 → 权重正交投影”的思路可推广到业务中的模型行为纠正：例如用少量对比样本估计生成式推荐模型中的偏见、幻觉或不合规输出方向，通过投影移除，无需全量微调。
- 保留拒绝子空间的做法可作为模型编辑的约束：在修改推荐/Agent 模型权重时，显式保持安全对齐相关表示不变，降低对拒绝、安全审核、对话质量等下游能力的附带损害。
- 评估体系可借鉴：线上模型任何补丁/编辑/校准，除了效果指标，应同时监控 ASR、KL 散度与能力基准，避免治好后门却牺牲推荐/对话质量。
何时纠错才算修复：工具型 LLM 内部干预的机制审计
🧭 LLM 可解释性 · 工具决策审计
University of the Chinese Academy of Sciences, China · School of Computer Science, University of Birmingham, UK
SAKIKO 审计框架揭示激活干预的行为迁移不等于修复，并量化附带损伤
📌 工作参考价值（3 点）
- 评估内部干预或 steering 修复工具调用/动作决策时，不要只看 accuracy / net gain；增加 destination-resolved 指标（如翻转矩阵：被干预改对的 vs 改错的基线正确样本），并在上线前审计 collateral damage。
- 干预应做成 router-conditioned：先定位动作类型决策对应的 router/分类子层或关键 attention head，再对局部 hidden state 做方向干预；全局 residual stream steering 容易引入无关动作损伤。
- 采用 前瞻冻结统计许可：预先设定目标增益，将干预方向与同预算随机方向做统计比较；对有限样本下的“看起来不错”的点估计，应报告置信区间/检验结果，避免把噪声当成修复。
语言模型的最小侵入式引导
🧭 LLM测试时对齐 · 预logit引导
Johns Hopkins University
MISVO用Fisher信息惩罚预logit干预的局部KL，冻结LLM测试时奖励引导，7项任务6项最佳
📌 工作参考价值（4 点）
- 对冻结 LLM 的最后隐藏状态加位置特定干预向量，用 Fisher 二次型惩罚诱导分布与参考分布的局部 KL，适合电商文案、广告标题生成时按点击率、GMV 等黑盒奖励在线调整，无需微调模型。
- 工程上只需用冻结 language-model head 做矩阵-向量积解析计算梯度，轻量可部署到推理链路中，可在 Agent 调优或文案生成后叠加测试时奖励优化，避免重训成本。
- 局部 KL 正则相比裸奖励优化，能防止输出分布过度偏离原始模型，保持语义连贯性与多样性，适合需要生成质量与业务目标平衡的场景，如搜索广告文案、商品卖点生成。
- 对于变化快、延迟反馈的奖励信号（用户反馈、转化数据），可借鉴该无参数测试时优化思路，与 Best-of-N 采样结合，提升平均奖励且维持样本多样性。
当潜在推理中的引导失效：潜在到语言转换差距
🧭 LLM 潜在推理可控性分析
HKUST(GZ) · SEU
发现 latent CoT 中激活引导对后续语言生成的影响远弱于显式 CoT，定位潜在到语言转换差距为核心障碍
📌 工作参考价值（4 点）
- 在推荐/Agent 场景若引入 latent CoT 或 continuous thought 来降低推理 token 成本，不要假设通过 steering hidden states 就能可靠地改变最终推荐解释、query 或对话行为；需在语言输出层或显式 CoT 阶段做干预。
- 评估任何 latent reasoning 控制方法时，指标应使用最终生成文本的任务成功率/语义变化，而不是隐藏状态移动距离或 probing 准确率，因为存在 latent-to-language transition gap。
- 如果业务里需要用 activation steering 做风格/安全/品牌语调控制，优先对显式 CoT 或最终输出前几层施加，避免在连续推理中间层低效干预。
- 在设计 latent CoT 架构时，可以将 transition boundary（hidden state -> language head）作为专门可学习的适配层或对齐目标，以缩小潜在干预到文本生成的衰减。
Deep Noir：通过架构时序自动发现 Transformer 激活引导参数
🧭 LLM 推理时激活引导自动化
Naval Surface Warfare Center Panama City Division
用 Logit Lens 收敛与因果头级归因自动定位 steering 层/头/幅度，实现跨任务激活引导
📌 工作参考价值（4 点）
- 诊断优先的自动化 steering 参数搜索：把 Logit Lens 收敛（模型何时从不确定到确定）与因果头级归因结合，可以替代手工调层、调头、调幅度。在电商/广告场景部署 LLM 分类器或内容过滤器时，可复用这套 pipeline 自动化定位需要干预的层和头，降低维护成本。
- Head masking 是跨任务泛化的关键：论文显示 RepE 不 mask head 在情感任务上无效，而 Deep Noir 的 head masking 使所有模型都提升。实际做 steering 时，不要直接加全局方向向量，要先用因果归因找出对目标任务有贡献的 head 子集再干预。
- 安全审查 Agent 的 prompt injection 风险量化：steering 幅度越大，模型越容易被注入攻击。如果电商安全 Agent 或评论审核系统使用了 steering 来控制输出，需要知道攻击面随 steering 强度单调上升，应在实际部署中限制 steering 强度或加入额外的注入检测层。
- 架构时序作为可解释性工具：Logit Lens 概率收敛曲线可以帮工程师理解模型在哪一层完成语义决策，这对优化推理截断、层剪枝、甚至识别哪些层对推荐/搜索 query 理解关键有参考价值。
引导几何：验证LLM引导空间中的人类价值几何
🧭 激活引导几何验证与对齐
University of British Columbia · Vector Institute for AI · Queen's University
分布驱动激活引导向量能恢复人类价值观理论拓扑，而行为中心方法几何不一致
📌 工作参考价值（4 点）
- 若业务使用 activation steering 控制推荐文案/对话语气，优先采用分布驱动方法（CAA、SphericalSteer、ODESteer），其向量几何与人类价值结构一致，跨 prompt 迁移更稳定，比行为中心方法（COLD-Steer、BiPO）更适合做可控生成。
- 几何保真度随模型规模提升但在指令调优后下降，若需要在电商场景中注入价值观维度（如环保、价格敏感），可考虑在基础模型层提取 steering vectors 或对指令模型做补偿修正。
- 文中 26K 样本、20 类价值观 benchmark 可复用或改造成电商偏好维度评测集，用于评估 LLM 生成推荐解释时是否忠实体现目标偏好。
- 跨价值迁移结论提示：引导一个价值会自动提升兼容价值、抑制对立价值，可用于多目标推荐文案联动控制，但需注意对立维度可能被误伤，需要精细调节。
YOPO：单次前向同时完成回答与弃答的冻结语言模型系统
🧭 LLM 推理 · 激活 steering / 弃答门控 ★ 深度解读
Georgia Institute of Technology · Columbia University · University of Wisconsin–Madison · University of Texas at Austin
在残差流同一前向里融合条件 steering 与零样本充分性门控，用无标签重建消除写读干扰
📌 工作参考价值（4 点）
- 在 RAG / 问答式推荐 / Agent 工具调用里，把“不确定就弃答或转人工”做成残差流上的零样本方向 d（sufficient 与 insufficient 的 diff-of-means），不要训练判别器；跨域阈值用目标域无标签样本的中位数校准，迁移稳定性更好。
- 如果要在同一前向 pass 里同时做生成/改写和不确定性门控，注意 write 会污染 read 信号。可以学一个轻量重建 map M：只做 steered→clean 的 MSE 重建，不需要任何弃答标签，就能恢复大部分 AUROC；小模型上尤其划算。
- 算力允许时，one-pass 里加监督 BCE boost 能在 in-domain 超过 two-pass clean read；但若业务有明显 domain shift 或小模型，优先用 label-free repair，避免 trained abstention 的跨域崩塌。
- 若用 steering / LoRA 做 query 改写、item 表示增强，注意训练目标会以 write 自由度换来跨域泛化损失：read-only < constrained write < free write。弃答/不确定性信号应放在 read head，不要写进同一个 write vector。
打破推理自循环：用激活引导实现细粒度推理控制
🧭 激活引导的推理状态控制 ★ 深度解读
UC San Diego · Adobe Research · University of New South Wales
通过分析推理轨迹的潜在状态转移并注入状态特定的残差流方向，无训练地打破LRM的自循环失败模式
📌 工作参考价值（4 点）
- 推理Agent的在线干预：在对话式推荐或搜索Agent中，可利用类似方法实时检测LLM是否陷入重复验证、重申已知信息的循环，并通过注入已准备好的状态转移向量强制推进流程，避免token预算浪费。
- 状态特定的控制向量库：不同于全局统一的greedy或惩罚策略，按当前推理状态（如“问题分解”、“中间计算”、“反复检查”）建立针对性的残差流调整方向，细粒度控制更精准，可移植到多步推荐解释生成场景。
- 无需微调的推理加速：方法完全基于缓存的一次性前向激活，不修改模型权重，适合快速部署到已上线的LLM推理服务中，在电商领域如商品对比、多步决策支持时减少无用思考。
- 状态转移分析用于失败模式定位：通过聚类推理步骤的隐藏状态并可视化转移矩阵，可以发现模型在哪些状态容易卡住，从而优先优化对应的引导向量，对构建可控的推荐对话系统很有工程参考价值。
基于 RFM-AGOP 的快速多维拒绝子空间提取
🧭 LLM 安全对齐 · 多维子空间提取
Télécom SudParis, Évry-Courcouronnes, France · ENS Paris-Saclay, Gif-sur-Yvette, France
利用递归特征机算法高效识别大模型的多维拒绝子空间，速度提升显著且消融效果更优
📌 工作参考价值（4 点）
- 电商/Agent 场景中若使用 LLM 生成推荐理由或交互回答，可借鉴该方法快速定位“拒绝回答”或内容过滤相关的激活子空间，低成本实现安全对齐。
- RFM 算法的高效性允许多轮在线监控，适合对延迟敏感的生产环境，比如在 Agent 每次响应前实时检测有害意图。
- 该方法只需少量探测样本即能初始化，可迁移到垂直领域的偏好控制（如避免生成竞品信息），无需从头训练分类器。
- 消融实验结果提示 RFM 提取的子空间比传统方法更精确，能减少对正常回复的误伤，适合需要保持转化率的推荐文案生成。
通过子集扰动稀疏恢复的高效训练数据归因
🧭 训练数据归因 · 稀疏恢复
University of Toronto · Vector Institute · Max Planck Institute for Intelligent Systems · ELLIS Institute · Thoughtworks
将训练数据归因建模为激活空间的稀疏恢复问题，让轻量 steering operator 模拟数据影响，速度快 13 倍且 SOTA
📌 工作参考价值（5 点）
- 可作为电商推荐/Agent 系统中追溯预测来源、诊断数据问题的高效工具：
- 将训练数据影响分析从梯度空间迁移到激活空间，避免反复重训练或全梯度计算，适合在线即时归因需求
- 利用稀疏恢复选择关键训练样本，可快速定位导致推荐错误或 Agent 决策异常的训练案例，辅助数据清洗与调试
- 通过预训练 steering operators 实现 “即插即用” 的归因能力，可集成进数据反馈闭环，用于增量数据质量评估与数据选择
- 方法对模型架构无侵入，仅需提取激活值，可适配各类基于 Transformer 的推荐模型与生成式推荐管道